2015 год объявлен Международным годом оценки по инициативе Группы ООН по оценке и сообщества EvalPartners. А 19 декабря 2014 года Генеральная Ассамблея ООН приняла первую в истории резолюцию, посвященную оценке – «Укрепление потенциала оценки программ развития (деятельности в целях развития) на страновом уровне». Каковы ключевые международные тренды в области оценки в социальной сфере? Чтобы найти ответ на этот вопрос, были проанализированы статьи по теме «Оценка», размещенные в Дайджестах публикаций международного филантропического сообщества в 2013-2014 гг. (всего 40 статей)[1]. Данные материалы отражают ключевые вопросы дискуссий международных экспертов некоммерческого сектора по теме оценки.
Тематику статей Дайджеста, посвященных оценке, условно можно разделить на две основные группы:
- — измерение эффективности (performance measurement) как управленческая практика (в первую очередь некоммерческих организаций), смысл которой заключается в постоянном улучшении организационных процессов, оперативной корректировке курса и оптимальном использовании ресурсов организации в интересах благополучателей;
- — оценка воздействия социальных программ на общество (impact evaluation): установление причинно-следственных связей между выполненными работами и полученным результатом, вопросы повышения масштаба социального воздействия и, как результат, ориентация на широкую внешнюю аудиторию (участники нормотворческого процесса, доноры, государство и т.д.).
Тенденция, которая уже очевидна и будет продолжать укрепляться – это запрос на поиск эффективных моделей решения социальных проблем. Это и результат признания того факта, что проблемы, с которыми мы сталкиваемся сегодня, слишком глобальны, сложны и мультидисциплинарны, чтобы их решение было под силу одному учреждению, НКО, государству и пр.; и реакция на глобальный финансовый кризис – стремление к повышению эффективности социальных программ за счет увеличения социальных результатов, масштаба социального воздействия и снижения расходов.
Данный запрос на поиск эффективных моделей стимулирует:
- — объединение усилий и развитие межсекторного партнерства;
- — поиск инновационных моделей в сфере филантропии;
- — развитие рынка социального инвестирования;
- — распространение «коллективной экономики» (shared economy).
Увеличение числа игроков на «социальном» поле, с одной стороны, приводит к размытию границ секторов и их функций, к инновационным решениям за счет заимствования подходов и пр.; а с другой стороны, актуализирует запрос на оценку деятельности и вклада каждого участника – а в первую очередь, государства и некоммерческого сектора, об эффективности их деятельности, в том числе, расходования средств.
На основе анализа статей Дайджеста 2013-2014 гг. выявлены следующие международные тренды в области оценки.
Тренд 1. Оценка как инструмент выявления и проверки перспективных, креативных идей и вариантов решения социальных проблем.
Знаковым событием 2014 года стало свертывание Фондом Хьюлетта Инициативы по развитию некоммерческого рынка (The Nonprofit Marketplace Initiative), которая поддерживала рейтинговые агентства (Charity Navigator, GuideStar, GiveWell и др.) и призывала состоятельных доноров изучать показатели эффективности НКО. Более целесообразной признана реализация исследовательских проектов, способствующих выявлению эффективных моделей и практик, в частности, использование доказательств как инструмент поиска и проверки перспективных идей – для последующего распространения и внедрения передового опыта [38].
Увеличение скорости поиска эффективных моделей и решений социальных проблем (как на уровне организации, так и для масштабирования социального воздействия) тесно связано с трендами №2-3, направленными на увеличение объема и источников информации, стимулирование к взаимному обмену информацией и взаимному обучению.
Тренд 2. Расширение цифровой инфраструктуры, формирование крупных массивов данных (Big Data) с целью взаимного обмена знаниями и обучения – объединение информации, которую участники общественных проектов и программ публикуют в открытом пространстве и/или распространяют с помощью социальных медиа [11].
К числу ключевых событий можно отнести публикацию Хартии о всемирном массиве данных филантропического сектора, разработанную Всемирной инициативой по поддержке грант-мейкеров (WINGS) [12]. Хартия направлена на улучшение деятельности тех, кто вовлечен в сбор данных о филантропии, привлечение стейкхолдеров из различных секторов (государство, бизнес, ученые и гражданское общество в целом) к обмену и использованию данных о филантропии в общественных интересах.
Взаимный обмен информацией в сфере филантропии соответствует и все более возрастающему запросу со стороны общества – узнать, каким образом ресурсы фондов и иных доноров влияют на общество. Ведь если информации об отдельных организациях достаточно, то данных о некоммерческом секторе в целом – практически нет [35].
Расширение числа акторов, участвующих в сборе и анализе информации, закономерно ставит вопрос об оптимизации этих процессов, выработке и согласовании основных правил и подходов.
Тренд 3. Стандартизация социальных результатов и показателей – формирование общих, единых систем измерения и оценки (shared measurement), согласование принципов, методов, подходов и правил оценки.
Активно ведется работа по разработке классификации универсальных результатов социальных программ и общих показателей для их оценки. Фиксируется постепенный отход от попыток сопоставить разные по сути инициативы в отдельных сегментах деятельности (образование, здравоохранение, искусство и т.д.) к концентрации внимания на конкретных социальных результатах и эффектах, символизирующих качественные изменения в обществе (например, усиление стремления к получению образования, реализация творческого потенциала молодежи и т.п.) [15]. В частности, это инициативы Inspiring Impact, PerformWell, Global value exchange, издание пособий по проектированию общих систем измерения [31, 35].
К числу успешных примеров относится «Матрица результатов» (The Outcome Matrix), в которой представлены социальные результаты отдельных субъектов, сгруппированные по направлениям и сегментам деятельности. Такой подход позволяет акторам, действующим в одном сегменте, следить за достижениями друг друга, обмениваться опытом и распространять передовые практики [12].
Значимую роль в вопросах стандартизации играют государственные структуры как отражение общего «посткризисного» тренда – экономия общественных ресурсов [35], уход от дублирования социальных программ и проектов; поиск инновационных моделей решения социальных проблем (в том числе финансовых). Например, одна из успешных онлайн-платформ, на которой происходит сбор релевантной информации по принципу краудсорсинга – Global value exchange – инициирована Правительством Шотландии.
Тренд 4. Спрос на формирование единых показателей эффективности на основе стоимости социальных проектов и программ.
На оценку в социальной сфере большое влияние оказывают масштабные инициативы, направленные на развитие социального бизнеса и рынка социальных инвестиций. Все больше в социальной сфере распространяются инвестиционные понятия, подходы и инструменты. В частности, утвержден Европейский стандарт оценки социального воздействия, в основе которого – Руководство Европейской ассоциации венчурной филантропии (EVPA). Получает большое распространение стоимостная оценка – оценка социально-экономического воздействия (SEIA), оценка социальной эффективности инвестиций (SROI) и другие.
По мере накопления сведений о положительной отдаче от вложенных средств и затратах на получение одного и того же результата в рамках разных программ, появляется возможность формирования таких показателей эффективности как «размер затрат на создание конкретного общественного блага» (cost per outcome) или «социальная отдача от инвестиций» (SROI) [8], а также выявления ключевых характеристик самых действенных инициатив и подходов к решению актуальных проблем [15]. Это экономит время и деньги организациям, реализующим социальные проекты и программы, а также помогает финансировать именно те программы, которые больше всего соответствуют их запросам [28].
Кроме того, стоимостная оценка позволяет оценить и наглядно продемонстрировать вклад каждого актора (например, НКО, бизнес-компании) в решение социальных проблем, что особенно важно в вопросах адвокации, влияния на социетальные системы.
Тренды №1-4, фиксирующие объединение усилий различных стейкхолдеров, актуализируют ряд вопросов, вокруг которых в последнее время ведется оживленная дискуссия в международном сообществе:
- — необходимость выработки общего языка для представителей разных секторов и дисциплин [15];
- — спрос на оперативный доступ к информации, в том числе в режиме реального времени [9, 25, 28];
- — запрос на открытость и прозрачность результатов оценки (в первую очередь негативных) для эффективного поиска лучшего решения [14, 15, 35];
- — развитие технологий коллаборации по вопросам оценки: появление множества онлайн-платформ, в том числе краудсорсинговых, например, WikiVOIS, GVE и пр. [1, 11];
- — спрос на инструменты и компетенции в области визуализации результатов оценочных исследований, больших массивов данных [11, 17, 21];
- — поиск механизмов, стимулирующих гражданскую активность стейкхолдеров, взаимный обмен информацией (в том числе через материальные бонусы – скидки и пр.) [12].
Рекомендации для НКО и доноров: - Обозначьте место и роль вашей организации / инициативы в общей системе социальных преобразований;
- Стремитесь к обмену информацией с другими акторами в целях разработки совместных стратегий, коллективных инициатив, повышения прозрачности сектора, формирования устойчивого партнерства с государством;
- Анализируйте ошибки и используйте полученную информацию для коллективного обучения.
Масштабный поток информации, а соответственно, и идей из разных секторов, дисциплин, континентов и пр., актуализирует вопрос о том, как выбрать наиболее перспективную? Какой вариант лучше? Все более популярной и распространенной технологией поиска оптимальных и эффективных решений становится использование принципов методики «design thinking»[2]. Данный системный подход, который в прошлом применяли исключительно дизайнеры, теперь становится характерным «стилем работы Кремниевой долины» и применяется к любой системе (транспортной, образовательной, медицинской и пр.) и к любой сфере, в том числе филантропии (больше примеров – на ресурсе ideo.org).
Тренд 5. Внимание к интересам целевых аудиторий (от экспертизы внешнего, профессионального оценщика к вовлечению широкого круга участников, от объекта к субъекту):
- — активное вовлечение субъектов оценки (в первую очередь благополучателей) на всех этапах – от разработки дизайна исследования до использования информации, представленной в отчете, учет их мнения [7, 12, 20, 25];
- — привлечение и вовлечение в процессы измерения и оценки эффективности сотрудников НКО нижнего сегмента организационной иерархии [1];
- — постоянная работа по выявлению скрытых потребностей благополучателей с целью эффективного решения социальных проблем [1, 4];
- — подготовка итогового отчета с учётом потребностей конечных потребителей информации – ответ на вопрос «для кого оценка?» [7, 12, 20, 25].
Рекомендации для НКО и доноров: - Разработайте Теорию изменений (или логическую модель), чтобы зафиксировать целевую аудиторию, объем и характер услуг, промежуточные результаты и устойчивые изменения;
- Оценка изначально должна учитывать интересы ключевых стейкхолдеров: укрепляйте отношения с ними, взаимодействуйте с людьми на местах, расширяя спектр знаний о контексте социальных инициатив, новых возможностях, трудностях и рисках;
- «Обкатайте» технологию обучения и практического применения полученных в ходе оценки знаний в организации;
- Тестируйте улучшенные варианты оценочной системы в рамках отдельных направлений перед тем, как менять систему в целом;
- Формируйте постоянный пакет краткосрочных и долгосрочных показателей.
Тренд 6. Увеличение гибкости и адаптивности оценки, ее динамичность и оперативность [4, 5, 7, 10]:
- — Уход от дихотомии «либо/либо» и спрос на нестандартные, креативные модели, учитывающие несколько факторов одновременно. Например, совмещение инноваций и доказательств эффективности [9]; поиск лучшего по стоимости и отдаче способа достижения социального результата при одновременном расширении масштабов воздействия [40]; развитие «щадящего» подхода [9], суть которого подразумевает уже на ранних этапах инновационных проектов формирование долгосрочных прогнозов устойчивых изменений (social impacts) на основе «опережающих показателей» (leading indicators).
- — Быстрое прототипирование – распространение «развивающей оценки» [4, 11, 12].
- — Замена итоговой оценки онлайн-потоками оценочных данных в режиме реального времени. Подпитывают эти виды коммуникаций Web 2.0, подключенные к социальным сетям и форумы в вики-стиле для краудсорсинга (например, платформа Global value exchange, где различные акторы могут взаимодействовать с сотнями виртуальных экспертов) [1, 5, 12].
- — Эволюция показателей эффективности, что во многом связано с влиянием социальных инвесторов и венчурных филантропов. Так, фиксируется переход от доступной отчетности, акценте на прозрачности (интерес инвесторов конкретными данными, а не историями) к выработке единых стандартов (возможность сопоставления, оценки социальных, экологических и финансовых результатов инвестиций – IRIS), а далее – к созданию ценности/полезности, к так называемым «Показателям 3.0» [31], учету финансовых показателей; проводится самооценка и создается общее знание о том, какие практики успешны на уровне всего сектора, индустрии.
- — Заимствование инструментария из других секторов, которые используются для составления точных прогнозов. Например, принятие решений на основе «синтетических данных» [32], анализа массива данных и знаний ранее реализованных проектов и программ, подтверждённых факторов успеха, позволяющих вывести универсальный «геном социального эффекта» [32].
- — Развитие «качественной» оценки, методы которой напоминают совещательные практики, вовлекающие стейкхолдеров в обсуждение актуальных социальных проблем, учет контекстуальной информации [21, 22, 40].
Тренд 7. «Do not overmeasure!» – один из лейтмотивов последних дискуссий вокруг темы оценки социального воздействия и измерения эффективности. На проведение оценки также необходимо выделять ресурсы – временные, человеческие, финансовые и пр. Как будет использоваться собранная информация? Кто будет ее потребителем? Действительно ли вся собранная информация представляет ценность?
Как и для подготовки нефинансовой отчетности (например, Глобальная инициатива GRI) для оценки становится актуален принцип существенности – сбор только той информации, которая действительна нужна; измерение только тех изменений, которые можно установить; измерения, демонстрирующие связь с конкретной социальной программой, позитивные изменения в жизни благополучателей. Запрос на более гибкие и менее затратные способы проведения оценки, в частности, распространение «облегченной оценки» [3, 20] способствует внедрению практики оценки не только в крупных НКО, но также в малых и средних [23].
Рекомендации для НКО и доноров: - Сформулируйте задачи оценки, определите приоритеты для сбора сведений;
- Ориентируйтесь на конечную цель и рассказывайте о стратегиях / механизмах ее достижения;
- Руководствуйтесь правилом «80/20» (оценка 20% наиболее перспективных программ);
- Сфокусируйтесь на измерении тех изменений, которые можно установить, и проследите их связь с конкретной программой;
- Не занимайтесь простыми подсчетами – показывайте прогресс на пути достижения целей программ/организации;
- Стремитесь к извлечению уроков из результатов оценки; рассказывайте, как используются результаты оценки для улучшения программ.
Перечисленные тенденции отражают изменение целей и функций оценки социальных / благотворительных программ:
-
- — От функции контроля к активному вовлечению субъектов и объектов оценки [7, 12, 20, 25];
- — От роли вспомогательного инструмента, мониторинга деятельности организации и выполнения социальных программ к самостоятельному направлению социальных преобразований через адвокацию и пр. [18], к демонстрации вклада организации в сообщество (например, экономия средств) [22];
- — От фокуса на целевом расходовании средств к гуманизации оценки, акцент на истинных потребностях благополучателей [7, 12, 20, 25];
- — От формирующей и итоговой оценки (formative / summative evaluation) к переориентации на выполнение прогностических функций, инструмента для гибкой, оперативной подстройки, корректировки стратегии и планов достижения конечной цели [5].Представленная таблица наглядно демонстрирует ключевые тренды в области оценки, переход от «традиционной» – к оценке «нового поколения» [11]:
Традиционная оценка Оценка нового поколения - Ориентация на отдельные программы и проекты
- Утверждённый план оценки, предполагающий выпуск промежуточных и годовых отчётов
- Традиционные методы сбора данных
- Единственный фонд + единственный грантополучатель = одна оценка
- Традиционные способы подготовки и презентации отчётов
- Сбором информации занимается оценщик
- Ориентация на всю систему в целом
- Краткосрочные оценочные циклы, основанные на получении обратной связи с помощью альтернативных форматов взаимодействия в режиме реального времени
- Инновационные и нередко цифровые методы сбора данных
- Распределение обязанностей между множеством организаций с целью сбора данных и получения информации из различных источников
- Разнообразные методы визуализации данных и использование инфографики
- Сбором данных занимаются все причастные стороны, которые в дальнейшем становятся пользователями полученной информации
Список источников:
- WikiVOIS – помощник НКО в вопросах оценки эффективности // Дайджест №42, 2013
- Внедряя передовой опыт, семь раз отмерьте: советы для НКО // Дайджест №45, 2014
- Инструмент для определения стоимости социального результата // Дайджест №54, 2014
- Исследование: «дизайнерские» принципы для оценочной практики в социальной сфере // Дайджест №42, 2013
- Как изменилась оценка за 50 лет? // Дайджест №39, 2013
- Как повысить отдачу от вложенных ресурсов: советы крупного фонда // Дайджест №45, 2014
- Как примирить доказательства с инновациями // Дайджест №51, 2014
- Классификация результатов социальных преобразований: начало большого пути // Дайджест №47, 2014
- Мастерство оценки: как разглядеть социальный эффект на раннем этапе проекта // Дайджест №53, 2014
- Научные споры: есть ли связь между размером накладных расходов и эффективностью НКО? // Дайджест №46, 2014
- Новая оценка для социального сектора // Дайджест №43, 2014
- Новая платформа для оценки эффективности социальных преобразований // Дайджест №50, 2014
- О пользе оценки: Как впечатлить госзаказчиков в нестабильные времена // Дайджест №38, 2013
- О роли «доказательства» (evidence) в жизни донора и его окружения // Дайджест №40, 2013
- О ценности универсальных результатов // Дайджест №52, 2014
- От Теории изменений к системе управления результативностью // Дайджест №36, 2013
- Отчёт о неудачном опыте: «Стратегическое сканирование ландшафта» не стало популярным среди фондов // Дайджест №37, 2013
- Оценка – стратегический инструмент системных изменений // Дайджест №53, 2014
- Оценка в социальном секторе: значение общих систем измерения // Дайджест №48, 2014
- Оценка деятельности НКО: в поисках понимания и единой терминологии // Дайджест №50, 2014
- Оценка качества общественных изменений: обзор тенденций от самого известного оценщика США // Дайджест №48, 2014
- Оценка социальной ценности: практика ответственного бизнеса // Дайджест №53, 2014
- Оценка социальной эффективности для малых и средних НКО // Дайджест №54, 2014
- Оценка эффективности грантовых программ – проблема в сфере прав человека // Дайджест №40, 2013
- Оценка эффективности НКО: обучение превыше всего // Дайджест №46, 2014
- Оценка эффективности НКО: что надо знать о показателях социальных изменений // Дайджест №38, 2013
- Оценочная практика крупных НКО со сложной структурой: советы профессионалов // Дайджест №46, 2014
- Оценочная практика НКО: как определить стоимость социального результата // Дайджест №49, 2014
- Перегруппировка сил в сообществе оценщиков социальной эффективности // Дайджест №54, 2014
- Постоянно общаясь с грантополучателями, фонды становятся эффективнеe // Дайджест №41, 2013
- Практическая ценность «Показателей 3.0» для сферы социальных инвестиций // Дайджест №51, 2014
- Проект «Геном социального эффекта»: как оцифровать и предугадать изменения в обществе // Дайджест №49, 2014
- Результаты оценочных исследований ждут достойного применения // Дайджест №44, 2014
- Рекомендации по использованию доказательной информации в социальной сфере // Дайджест №47, 2014
- Роль актуальных данных в сфере филантропии // Дайджест №37, 2013
- Советы для фондов: простые способы проверки эффективности // Дайджест №47, 2014
- Создавая Теорию изменений, не допускайте ошибок // Дайджест №41, 2013
- Сторонников «филантропии, основанной на доказательствах» становится меньше? //Дайджест №50, 2014
- Что мы имеем в виду, рассуждая о «данных» // Дайджест №51, 2014
- Широкие масштабы деятельности с подтвержденной эффективностью – путь к увеличению общественных благ // Дайджест №52, 2014
[1] Дайджесты, которые с 2010 года ежемесячно готовит некоммерческая организация «Эволюшн энд Филантропи», представляют собой обзоры ключевых статей ведущих международных ресурсов по теме филантропии и благотворительности (Stanford Social Innovation Review, The Chronicle of Philanthropy, Alliance, Nonprofit Quarterly, Third Sector, Harvard Business Review, The Foundation Center и другие). Сайт Дайджеста – http://ep-digest.ru/
[2] На русский язык условно можно перевести как «дизайн-мышление», «дизайн-подход», «дизайн-менеджмент».
Автор обзора — Наталия Фреик, эксперт-аналитик E&P